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(54) Einrichtung zur Umfelderkennung, insbesondere zur Verkehrszeichenerkennung 



(57) Es wird eine Umfeld-, insbesondere Verkehrs- 
zeichenerkennungseinrichtung mit mindestens zwei 
Kameras mit uberlappenden Gesichtsfeldern vorge- 



schlagen zur Detektion von Hindernissen bzw. zur 
Detektion und Klassifikatkm von Verkehrszeichen. 
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Beschreibung 

Stand derTechnik 

[0001] Die Erfindung geht aus von einer Umfelder- 
kennungseinrichtung nach der Gattung des unabhangi- 
gen Anspruchs. Aus der DE 40 23 952 C2 ist schon eine 
Verkehrszeichenerkennungseinrlchtung bekannt, bei 
der ein Bildverarbeltungsverfahren zur Verkehrszei- 
chenerkennung eingesetzt wird. 

Vorteile der Erfindung 

[0002] Die erfindungsgemaBe Umfelderkennungs- 
einrichtung mit den kennzeichnenden Merknnalen des 
unabhangigen Anspruchs hat demgegenuber den Vor- 
teil, daB sicher, mit einfachen Mitteln und/oder automa- 
tisiert im StraBenverkehr aufgestellte Verkehrszeichen 
Oder Verkehrshlndernisse vom Kraftfahrzeug aus 
erkannt werden konnen. 

[0003] Weitere Vorteile ergeben sich durch die in 
den Unteranspruchen genannten Merkmale. 
[0004] Kameras mit uberlappendem Bildbereich 
ermoglichen die dreidimensionale sichere und robuste 
Berechnung geometrischer und bildlicher GroBen im 
Zusammenhang mit Verkehrszeichen, wie beispiels- 
weise Standort und Art des Verkehrszeichens aus 
Momentanaufnahmen der Kameras, d.h. sie ermogli- 
chen eine instantane und genaue Erkennung und 
Berechnung aus einer Momentaufnahme, ohne den 
zeitlichen Verlauf von Bilddaten innerhalb eines 
bestimmten Zeitfensters (Sicherheitsrisiko!) abwarten 
zu mussen. Durch die mogliche dreidimensionale Ver- 
kehrszeichenerkennung wird es daruberhinaus mog- 
lich, weitere dreidimensionale GroBen wie zum Beispiel 
Form, Orlentierung und reale GroBe, seitlicher Abstand 
erkannter Verkehrszeichen vom Fahrzeug und Abstand 
In Fahrtrichtung vom Fahrzeug zuverlassig zu vermes- 
sen, was wiederum einer sicheren Klassifikation, d.h. 
Bedeutungszuweisung, erkannter Verkehrszeichen 
dienlich ist. 

[0005] Eine ruckwartige Anordnung der Kameraein- 
richtung ermoglicht beispielsweise eine breite Sicht auf 
Hindernlsse beim Einparkvorgang, wenn das Stereovl- 
deosignal beispielsweise auf einem Blldschirm, der im 
Sichtbereich des Fahrzeugfuhrers angeqrdnet ist, ange- 
zeigt wird. Sind die Kameras insbesondere so ausge- 
richtet, daB sich die optischen Achsen der Kameras im 
Gesichtsfeld der Kameras schneiden, so sind vorteiihaf- 
tenweise bildaufnehmende Elemente mit groBerer 
Brennweite moglich, wodurch sich ein Fischaugeneffekt 
vermeiden laBt. Auch kann vorgesehen sein, dem Fah- 
rer durch Berechnung des Abstands aus dem stereo- 
skopischen Videosignal (d.h. den Umfeldbilddaten des 
Oberiappungsbereichs der Gesichtsfelder des bei- 
spielsweise binokularen Kamerasystems) uber eine 
Zahlenanzeige Oder akustische Anzeige den verblei- 
benden Abstand zum ruckwartig stehenden Fahrzeug 



instantan anzugeben. 
Zelchnung 

5 [0006] Die Erfindung ist anhand der Zeichnung dar- 
gestellt und nachfolgend naher beschrieben. Es zelgen 
FIgur 1 eine Verkehrszeichenerkennungseinrichtung, 
Figur 2 eine Anordnung von Kamerapositionen, Figur 3 
eine Verkehrsszene, Figur 4 Verkehrsschilder sowie 

10 Figur 5 eine weitere Verkehrsszene. 

Beschreibung der Ausfuhrungsbeispiele 

[0007] Figur 1 zeigt eine Verkehrszeichenerken- 

15 nungseinrichtung 200 mit einer ersten Kamera 1 00 und 
einer zweiten Kamera 1 10. Die Kameras haben jeweils 
ein Bllckfeld 4a bezlehungswelse 4b, wobel die Blickfel- 
der einen Qberlappungsbereich 4 aufweisen. Die 
Kameras sind uber Verbindungsleitungen 120 bezie- 

20 hungsweise 130 mit einer Bildverarbeitungseinheit 140 
verbunden, wobel uber eine Verblndungsleitung 160 
eine Datenausgabe-Zweiterieitungseinheit 150 an die 
Bildverarbeitungseinheit angeschlossen ist. 
[0008] Die Kameras liefern eine stereoskopische 

25 VIdeosequenz an die Bildverarbeitungseinheit, die mit- 
tels dreldimenslonaler Mustererkennung und Bildverar- 
beitung Verkehrszeichen detektiert und klasslfizlert. 
Das Ergebnis der Mustererkennung bzw. Bildverarbei- 
tung wird uber die Einheit 150 beispielsweise einem 

30 Fahrzeugfuhrer angezeigt, beipielsweise in der Form 
einer bildlichen Wiedergabe des erkannten Verkehrs- 
zeichens auf einem Anzeigefeld im Innern des Kraft- 
fahrzeugs Oder in einem Head-up-Display Im Bereich 
der Frontscheibe, auch konnen detaillierte Warnhin- 

35 weise wie beispielsweise ^Achtung - Geschwindigkeits- 
beschrankung", Oder „Noch 50 Meter bis zur nachsten 
gleichberechtigten StraBenkreuzung!" ausgegeben 
werden. 

[0009] Alternativ oder in Kombination zur obenge- 

40 nannten Funkllon konnen die Erkennungs/Klasslfikati- 
onsdaten an eine Hilfseinrichtung, die auch Im 
Fahrzeug des Fahrzeugfuhrers angeordnet ist, welter- 
geleitet werden, um die Funktionssicherheit dieses wei- 
teren Systenr^ zu erhohen, insbesondere eines 

45 Navigatlonssystems. 

[0010] Die Kameras konnen SchwarzwelBkameras 
Oder Farbkameras sein, je nach Anforderung an die 
Verkehrszeichenerkennungseinrlchtung. Als Aufnah- 
metechnoiogien konnen CCD-Anordnungen (CCD = 

50 Charge Coupled Device) oder HDRC-Systeme (HDRC 
= High Dynamic Range Camera) eingesetzt werden, 
wobei letztere aufgrund nichtlinearer Kennlinlen im 
Videosignal-Helligkeits-Diagramm eine hohere Hellig- 
keitsdynamik im Vergleich zu CCD-Anordnungen auf- 

55 weisen. 

[0011] Figur 2 zeigt ein Fahrzeug 1 in Draufslcht. Im 
Fahrzeug sind beispielhaft zwei alternative Kamerapo- 
sitionen 2 bzw. 3 eines binokularen Kamerasystems zur 
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Aufnahme von Umfeldbilddaten, insbesondere von 
Umfeldbilddaten einer StraBensituation, angegeben. 
Die Position 2 beschreibt eine Anordnung hinter der 
Windschutzscheibe, vorteilhaftenweise im Wirkbereich 
der Scheibenwischer. Die Position 3 beschreibt eine 5 
Anordnung im Bereich der Scheinwerfer des Fahrzeugs 
1. Alternative Positlonen, an denen Verkehrszeichen 
registriert werden konnen, sind ebenfalls moglich. In 
jedem Fall weisen dabei die Blickfelder 4a und 4b des 
Kamerapaars einen Uberlappungsbereich 4 auf; einge- 10 
zeichnet wurden die Blickfelder der Einfachheit halber 
lediglich fur die Kameraposition 2. Die in der Beschrei- 
bung zur Figur 1 erlauterte Bildverarbeitungseinrlch- 
tung ist hier nicht bildlich wiedergegeben, kann man 
sich jedoch an jedem beliebigen Ort im Fahrzeug ange- 15 
ordnet denken. 

[0012] Das binokulare Kamerasystem nimmt wah- 
rend der Fahrt, angelehnt an die Fahigkeit des Men- 
schen, Straf3ensituationen zu interpretleren, 
stereoskopische Videosequenzen auf; die Blldverarbei- 20 
tungseinheit kann dabei aus jeder Momentaufnahme 
Verkehrszeichenerkennungs - bzw. Verkehrszeichen- 
klassifikationsdaten generieren und wie bereits 
beschrieben uber eine Einheit 150 (siehe Figur 1) dem 
Fahrer oder einem anderen Hilfssystem im Fahrzeug 25 
zur Verfugung stellen. 

[0013] Figur 3 zeigt beispielhaft eine Verkehrs- 
szene mit eInem Verkehrszeichen 5 mit einer Hohe 10. 
Das Verkehrszeichen hat einen Abstand 9 in Fahrtrich- 
tung und einen seitlichen Abstand 8 zum Fahrzeug, das 30 
in RCickansicht dargestellt ist. Eine zwischen dem Fahr- 
zeug 1 und dem Verkehrszeichen 5 angeordnete Fahr- 
bahnmarkierung 6 hat einen seitlichen Abstand 7 zum 
Fahrzeug. 

[0014] Mithilfe des binokularen Kamerasystems 35 
kann sowohl der seitliche Abstand 8 als auch der 
Abstand 9 des Verkehrszeichens vom Fahrzeug 1 
bestimmt werden. Auch die Hohe 10 kann instantan 
durch Auswertung entsprechender stereoskopischer 
Videosignale berechnet werden. Eine entsprechende 40 
Auswertung kann auch fur die Fahrbahnmarkierung 
erfolgen, woraus wlederum zusammen mit den Ver- 
kehrszeichendaten der Abstand zwischen Verkehrszei- 
chen und Fahrbahnmarkierung errechnet werden kann. 
[0015] Figur 4 und 5 zeigen Beispiele welterer, 45 
unterschiedlich geformter bzw. ausgerichteter Ver- 
kehrszeichen. Figur 4a zeigt ein Richtungsanzeige- 
schild 55 mit einer Breite 11 und einer Hohe 12. Figur 
4b zeigt ein Gefahrenhinweisschlld 555. das relativ zur 
horizontalen Ausrichtung 14 des binokularen Kamera- so 
systems einen Kippwinkel 13 aufweist. Figur 5 zeigt ein 
Verkehrszeichen 5, das relativ zur Orientierung 1 6 der 
Fahrzeugquerachse einen Drehwinkel 15 aufweist. 
[0018] Fur unterschiedlich geformte Verkehrszei- 
chen, wie beispielhaft in Figur 4a, 4b und 5 dargestellt. ss 
konnen mittels des binokularen Kamerasystems 100, 
110 unterschiedliche GroBen wie Breite 11, Hohe 12, 
Kippwinkel 13 und Drehwinkel 15 mit hoher Zuverlas- 



slgkeit unter Einsatz eines Mustererkennungsverfah- 
rens vermessen werden, um eine robuste 
Verkehrszeichenerkennung und -klasslfizierung an 
Bord des Kraftfahrzeugs zu ermoglichen. Ein In der 
Blldverarbeitungseinheit in einem Speicher abgelegtes 
dreidimenslonales Modell eines Verkehrszeichens weist 
hierbei jedem Verkehrszeichen wahlweise Oder In Kom- 
bination folgende geometrische GroBen zu, wobel 
anhand der Form des Verkehrszeichens eine Vorklassi- 
fikation erfolgen kann: 

1 . Position des Verkehrszeichens relativ zum Fahr- 
zeug: Abstand 9 in Fahrtrichtung, seitlicher 
Abstand 8 vom Fahrzeug, Hohe 10 des Verkehrs- 
zeichens uber der Fahrbahn oder uber dem Fahr- 
zeug; 

2. Form des Verkehrszeichens: rund, dreieckig, 
vierecklg, achteckig; 

3. Abmessungen des Verkehrszeichens: Durch- 
messer, Breite 1 1 , Hohe 12; 

4. Orientierung des Verkehrszeichens: Kippwinkel 
13, Drehwinkel 15; 

5. Zuordnung zu anderen Verkehrszeichen, bei- 
spielswelse das Zusatzzeichen „nur bei Nasse" zu 
eInem Verkehrszeichen. das eine Geschwindlg- 
keitsbeschrankung anglbt. 

In alternativen Ausfuhrungsformen kann die Bildverar- 
beltungseinheit bei entsprechend geelgnet angeordne- 
ten Kameras gleichzeitlg vorausfahrende bzw. 
stehende Fahrzeuge erkennen und registrieren, ob ein 
erkanntes Fahrzeug im Vorderfeld stehtoder rollt. Damit 
laBt sich ein automatisches „Stop and Go" realisieren. 
Die Berechnung des Abstands zu vorausfahrenden 
Oder -stehenden Fahrzeugen kann zu automatischen 
Eingriffen In die Brems- und 

[0017] Motorsteuerung des Fahrzeugs eingesetzt 
werden (ACC, Automatic Cruise Control). Ferner kann 
eine Auswertung der Fahrspuren erfolgen zur automati- 
schen Ansteuerung der Scheinwerferausrichtungen 
bzw. zur Auslosung eines Alarms, sobald das Fahrzeug 
an den StraBenrand gerat. In diesem Zusammenhang 
ist auch die Ansteuerung eines akustischen Einschlaf- 
Warners moglich. Ferner sind die errechneten Fahr- 
bahndaten geelgnet zur Ansteuerung einer 
automatischen Lenkung. 

Alternativ kann die erflndungsgemiBe 

[0018] Umfelderkennungselnrlchtung Im Kraftfahr- 
zeug auch als Ruckfahrkamera eingesetzt werden. 
Dabei ist das Kamerasystem 100, 110 im Bereich des 
StoBfangers installiert, so daB im ruckwartigen Bereich 
des Kraftfahrzeugs der gesamte Bereich des StoBfan- 
gers vom Kamerasystem erfaBt wird. Die optischen 
Achsen der Kameras uberlappen sich hierbei Im 
Gesichtsfeld der Kameras, wodurch sich der Blldbe- 
reich im ruckwartigen Raum des Kraftfahrzeugs vergro- 
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Bert und der ruckwartige Raum Inkluslve StoBfanger 
erfaBt werden kann, was be! direkter Bildausgabe dem 
Fahrer die Einschatzung des Abstands erieichtert. 
Infolge sich schneidender optischer Achsen sind Objek- 
tive mit relativ groBer Brennweite moglich und der 5 
Fischaugeneffekt wird vermieden. Die Bildverarbel- 
tungseinheit liefert das erfaBte Bild direkt an eine als 
Bildausgabeeinheit ausgebildete Datenausgabeeinhett 
150, nachdenn sie die Bilddaten entsprechend den sich 
kreuzenden optischen Achsen der Kameras korrigiert w 
hat. In einer weiteren Ausfuhrungsform ist die Bildverar- 
beitungseinheit derart ausgebildet, aus den stereosko* 
pischen Umfeldbilddaten den Abstand des 
Hindernisses von der StoBstange des Fahrzeugs zu 
berechnen und dem Fahrzeugfuhrer uber eine eine 15 
Zahlenanzeige oder akustische Anzeige (ansteigender 
Ton, schneller werdende Pulsfolge In AbhSngigkeit vom 
verbleibenden Abstand o.a.) aufwelsende Datenausga- 
beelnheit 150 mitzutellen. In einer weiteren Ausfuh- 
rungsform ist auch eine automatische Objektdetektion 20 
im ruckwartigen Fahrzeugraum vorsehbar. 

Patentanspruche 



Einrichtung nach Anspruch 1, dadurch gekenn- 
zelchnet, daB die Einrichtung eine Bildverarbei- 
tungseinheit aufwelst und daB die Kamera- 
einrlchtung in der Nahe eines ruckwartigen StoB- 
f angers des Kraftfahrzeugs angeordnet ist zur Auf- 
nahme der Umfeldbilddaten im ruckwartigen Raum 
des Kraftfahrzeugs, wobel das VIdeoslgnal der Blld- 
verarbeltungseinhelt zugefuhrt wird zur Detektlon 
mindestens eines Hindernisses Im ruckwartigen 
Raum des Kraftfahrzeugs, Insbesondere wahrend 
eines Einparkvorgangs. 

Einrichtung nach Anspruch 7, dadurch gekenn- 
zeichnet, daB die optischen Achsen der minde- 
stens zwei Kameras sich Im Bereich der 
Qesichtsfelder schnelden. 

Einrichtung nach Anspruch 7 oder 8, dadurch 
gekennzeichnet, daB die Bildverarbeitungseinheit 
den Abstand des Hindernisses aus den Umfeldbild- 
daten des Uberlappungsbereichs der Qesichtsfel- 
der ermlttelt und dem Fahrzeugfuhrer meldet. 



1. Umfelderkennungseinrlchtung In einem Kraftfahr- 25 
zeug mit einer Kameraelnrlchtung zur Qeherierung 
von Videosignalen aus Umfeldbilddaten, dadurch 
gekennzeichnet, daB die Kameraeinrichtung min- 
destens zwel Kameras mit uberiappenden 
Geslchtsfeldern aufwelst. 30 



2. Einrichtung nach Anspruch 1, dadurch gekenn- 
zeichnet, daB die Einrichtung eine Bildverarbei- 
tungseinheit aufwelst, wobel die Videostgnale der 
Bildverarbeitungseinheit zugefuhrt wird zur Detek- 35 
tion von Verkehrszeichen In den Umfeldbilddaten. 



3. Einrichtung nach Anspruch 2, dadurch gekenn- 
zeichnet, daB die Bildverarbeitungseinheit im Falte 
der Detektlon eines Verkehrszelchens das detek- 40 
tierte Verkehrszeichen klassiflziert. 



4. Einrichtung nach Anspruch 2, dadurch gekenn- 
zeichnet, daB die Bildverarbeitungseinheit neben 
der Detektlon von Verkehrszeichen zur Detektlon 45 
von FahrbahnrSndern und/oder von vorausfahren- 
den und/oder stehenden Fahrzeugen ausgebildet 
Ist. 



5. Einrichtung nach eInem der vorhergehenden so 
Anspruche, dadurch gekennzeichnet, daB die 
Kameraeinrichtung Im Frontschelbenbereich eines 
Fahrzeugs angeordnet Ist. 

6. Einrichtung nach eInem der Anspruche 1 bis 4, 55 
dadurch gekennzeichnet. daB die Kameraeinrlch* 
tung Im Schelnwerferbereich eines Fahrzeugs 
angeordnet Ist. 
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In diesem Anhang sind die Mitglieder der Patentfamilien der im obengenannten europaischen Recherchenbericht angefOhrten 
Patentdokumente angegeben. 

Die Angaben Qber die Famillenmitgiieder entsprechen dem Stand der Oatei des EuropAischen Patentamts am 
Diese Angaben dienen nur zur Unterrichtung und erfolgen ohne Gewflhr. 
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10-01-1997 


US 5835880 


A 


10-11-1998 


KEINE 






EP 0738872 


A 


23-10-1996 
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Fur nahere Einzelheiten zu diesem Anhang : siehe Amtsblatt des EuropAlschen Patentamts, Nr.12/82 
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